# 수치 예측 문제 (Numerical Prediction Problem)

## 개요
수치 예측 문제는 머신러닝에서 입력 데이터의 특징을 바탕으로 연속적인 실수 값(continuous value)을 출력하는 지도 학습(Supervised Learning) 태스크입니다. 이 분야는 통계학의 **회귀 분석(Regression Analysis)**에 이론적 뿌리를 두고 있으며, 기계학습에서는 주로 회귀 모델(Regression Model)을 통해 해결됩니다. 분류(Classification) 문제와 달리 특정 카테고리나 레이블을 예측하는 것이 아니라, 가격, 온도, 수요량, 점수 등 무한히 세분화될 수 있는 수치 값을 추정하는 것이 핵심 목표입니다.

## 주요 알고리즘
수치 예측 문제를 해결하기 위해 사용되는 알고리즘은 데이터의 선형성(linearity), 노이즈 수준, 그리고 차원(dimension)에 따라 다양하게 선택됩니다.

### 선형 회귀 (Linear Regression)
가장 기본적이고 해석이 용이한 모델입니다. 입력 변수와 출력 변수 간에 직선(또는 초평면) 관계를 가정하며, 최소제곱법(Ordinary Least Squares)을 통해 가중치를 학습합니다. 다중 공선성(multicollinearity: 독립변수 간 높은 상관관계)이나 이상치(outlier)에 민감할 수 있어, L1/L2 정규화 기법과 결합하여 사용하는 경우가 많습니다.

### 결정 트리 및 앙상블 기반 회귀
비선형 관계를 잘 포착하는 **결정 트리 회귀(Decision Tree Regressor)**는 데이터를 구간별로 분할하여 각 리프 노드에서 평균값을 예측합니다. 단일 트리는 과적합(overfitting: 훈련 데이터에 지나치게 맞춰져 새로운 데이터 성능 저하) 경향이 있어, 여러 트리의 예측 결과를 평균하거나 순차적으로 오차를 보정하는 **랜덤 포레스트(Random Forest)**, **그래디언트 부스팅(Gradient Boosting)** 같은 앙상블 기법이 실제 산업 현장에서 널리 쓰입니다.

### 서포트 벡터 회귀 (SVR) 및 신경망
고차원 공간에서 마진(margin)을 최대화하는 SVR는 소규모 데이터셋에서도 강건한 성능을 보입니다. 최근에는 딥러닝 기반의 다층 퍼셉트론(MLP)이나 시계열 전용 아키텍처(LSTM, Transformer)가 복잡한 패턴 학습에 활용되고 있습니다.

## 평가 지표
회귀 모델의 성능은 분류 문제의 정확도(Accuracy)와 달리, 예측값과 실제값 간의 오차를 기반으로 측정합니다. 주요 지표는 다음과 같습니다.

| 지표명 | 약어 | 계산 방식/설명 | 특징 |
|:---|:---|:---|:---|
| 평균 제곱 오차 | MSE | 예측값과 실제값 차이의 제곱 평균 | 큰 오차에 민감하게 반응, 미분 최적화에 적합 |
| 루트 평균 제곱 오차 | RMSE | `sqrt(MSE)` | 원본 단위와 동일하여 해석이 직관적임 |
| 평균 절대 오차 | MAE | 예측값과 실제값 차이의 절대값 평균 | 이상치에 덜 민감, 비즈니스 관점의 평균 오차 의미 부여 |
| 결정 계수 | R² | 1 - (잔차 제곱합 / 총제곱합) | 모델이 타겟 분산을 설명하는 비율 (최대 1.0, 낮을수록 나쁨) |

## 주요 응용 분야
수치 예측 기술은 다양한 산업 분야에서 정량적 의사결정을 지원합니다.
- **부동산/금융:** 주택/상가 가격 예측, 주가 및 변동성 추정, 신용 점수 산정
- **유통/제조:** 제품 수요 예측, 재고 최적화, 설비 고장 잔여 수명(RUL) 예측
- **에너지/환경:** 전력 소비량 전망, 기상 데이터(기온, 강수량) 예보
- **의료/바이오:** 환자 치료 기간 예측, 생체 신호 기반 건강 지표 추정

## 구현 예시 (Python)
`scikit-learn` 라이브러리를 활용한 랜덤 포레스트 회귀 모델의 기본 구현 예시입니다.

```python
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, r2_score
import numpy as np

# 가상의 데이터 생성 (예: 방 크기, 위치 점수 -> 주택 가격)
X = np.random.rand(100, 2) * [50, 10]  # 특징 행렬
y = 300 * X[:, 0] + 20 * X[:, 1] + np.random.normal(0, 10, 100)  # 타겟 벡터

# 학습/테스트 데이터 분할 (8:2 비율)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 모델 학습 및 예측
model = RandomForestRegressor(n_estimators=100, random_state=42)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

# 성능 평가
rmse = np.sqrt(mean_squared_error(y_test, y_pred))
r2 = r2_score(y_test, y_pred)
print(f"RMSE: {rmse:.2f}")
print(f"R² Score: {r2:.4f}")
```

## 주의사항 및 한계
수치 예측 문제를 다룰 때는 다음과 같은 사항을 고려해야 합니다.
1. **이상치 처리:** MSE/RMSE는 큰 오차를 제곱하여 반영하므로 이상치가 성능을 왜곡할 수 있습니다. 이 경우 MAE 사용 또는 이상치 제거/변환이 필요합니다.
2. **특성 스케일링:** 선형 회귀나 SVR, 신경망은 입력 값의 범위가 다르면 학습이 불안정해질 수 있어 표준화(Standardization)가 권장됩니다.
3. **과적합 방지:** 복잡한 모델은 훈련 데이터에 지나치게 맞춰져 검증 데이터에서 성능이 떨어질 수 있습니다. 교차 검증(Cross-Validation)과 정규화를 통해 일반화 성능을 관리해야 합니다.
4. **인과관계 vs 상관관계:** 머신러닝 모델은 통계적 패턴을 학습할 뿐, 인과 관계를 보장하지 않습니다. 비즈니스 적용 시 도메인 전문가의 검토가 필수적입니다.

## 관련 문서 및 참고 자료
- [지도 학습 (Supervised Learning)](링크)
- [분류 문제 (Classification Problem)](링크)
- [교차 검증 (Cross-Validation)](링크)
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). *The Elements of Statistical Learning*. Springer.